• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    Die Erfindung betrifft ein Verfahren zur Entfaltung von Bilddaten,bei dem mit einer Anzahl n konfokaler Strahlengänge Bilddaten eines Objekts erfasst werden;die Bilddaten mittels einer Punktbildübertragungsfunktion in resultierende Bilddaten überführt werden; unddie resultierenden Bilddaten unter Anwendung einer Entfaltungsfunktion im Frequenzraum wieder entfaltet werden, wobei die Entfaltungsfunktion die Bildung einer Anzahl n Summenterme und einen Wiener-Parameter w enthält. Erfindungsgemäß werden die Ergebnisse der Summenterme abrufbar gespeichert; der Wiener-Parameter w wird wenigstens einmal ausgehend von seinem Ursprungswert verändert und die Entfaltung wird mittels der Entfaltungsfunktion mit dem veränderten Wiener-Parameter w und den gespeicherten Ergebnissen der Summenterme ausgeführt.
    公开号:EP3709257A1
    申请号:EP20160535.9
    申请日:2020-03-03
    公开日:2020-09-16
    发明作者:Stanislav KALININ；Volodymyr Kudryavtsev；Yauheni Novikau
    申请人:Carl Zeiss Microscopy GmbH；
    IPC主号:G06T5-00
    专利说明:
    [0001] Die Erfindung betrifft ein Verfahren zur Entfaltung von Bilddaten gemäß dem Oberbegriff des Anspruchs 1.
    [0002] Bei der Anwendung von Verfahren der konfokalen Mikroskopie wird eine üblicherweise als Pinhole bezeichnete Blende in einer konjugierten Bildebene eines Detektionsstrahlengangs angeordnet, wie dies beispielsweise aus der EP 1 372 011 B1 bekannt ist.
    [0003] Bei der Erfassung von Bilddaten eines Objekts werden Strahlen einer Detektionsstrahlung mittels eines optischen Systems erfasst und auf einen Detektor geleitet, der hinter dem Pinhole angeordnet ist. Dabei werden die Bilddaten aufgrund optischer Eigenschaften der Elemente des optischen Systems verändert und können beispielsweise neben einem Verlust von Anteilen der Detektionsstrahlung auch ein "Verschmieren" des Orts einer die Detektionsstrahlung bewirkenden Signalquelle mit sich bringen. Zudem ist es mit üblichen optischen Systemen nicht möglich, eine punktförmige Strahlungsquelle wieder exakt als ein Punkt abzubilden, wenn dieses kleiner als die optische Auflösung des optischen Systems ist.
    [0004] Die Wirkungen eines optischen Systems auf die übertragene Detektionsstrahlung kann mittels einer Punktbildübertragungsfunktion (point spread function, PSF) beschrieben werden. Diese auch als Faltung oder Konvolution (engl. convolution) bezeichnete Beeinflussung der Detektionsstrahlung, - und damit der resultierenden Bilddaten, - kann bei Kenntnis der PSF mittels einer als Entfaltung oder Dekonvolution (engl. deconvolution) bezeichneten Rechenoperation wieder aufgehoben werden.
    [0005] In der Fig. 1 ist schematisch der Zusammenhang der Erfassung von Bilddaten im Ortsraum O(r) der entsprechenden Punktbildübertragungsfunktion EH(r), fortan auch kurz als PSF bezeichnet, und der resultierenden Bilddaten D(r) dargestellt.
    [0006] Die entsprechenden Größen im Frequenzraum sind das Objektspektrum O(ω), die optische Transfer Funktion EH(ω) sowie das Bildspektrum D(ω).
    [0007] Mittels der Fouriertransformation FT beziehungsweise der inversen Fouriertransformation FT-1 können die Daten beziehungsweise Funktionen von Ortsraum und Frequenzraum ineinander umgerechnet werden.
    [0008] Ein mittels konfokaler Mikroskopie erhaltenes Bild ist daher das Ergebnis einer Faltung der Detektionsstrahlung entsprechend der PSF im Ortsraum (spatial domain). Zusätzlich auftretendes Rauschen [additive noise; N(r)] trägt ebenfalls zu den resultierenden Bilddaten und somit zu dem erhaltenen Bild bei und muss gegebenenfalls durch zusätzliche auswertetechnische Maßnahmen reduziert werden.
    [0009] In einer Weiterentwicklung dieses Prinzips der Mikroskopie wird statt nur eines Pinholes ein Detektor mit einer Anzahl zweidimensional angeordneter Detektorelemente (Airyscandetektor) in der konjugierten Bildebene angeordnet. Dabei wirkt jedes Detektorelement für sich als ein Pinhole. Jedem Detektorelement kann dabei beispielsweise eine lichtleitende Faser oder eine andere lichtleitende Struktur vorgeordnet sein, deren Eingang in der konjugierten Bildebene liegt. Auf diesem Prinzip basiert die Airyscan-Mikroskopie (siehe z. B.: Weisshart, K. 2014; The basic principle of Airyscanning; Technology Note EN_41_013_084; Carl Zeiss Microscopy GmbH; sowie Huff, J. et al. 2015; The Airy detector from ZEISS - Confocal imaging with improved signal-to-noise ratio and superresolution; Technology Note EN_41_013_105; Carl Zeiss Microscopy GmbH).
    [0010] Wird beispielsweise ein Detektor mit n = 1 oder ein Airyscandetektor mit einer Anzahl n ≥ 2 (i = 2, 3, 4,..., n) Detektorelemente verwendet, ergeben sich die resultierenden Bilddaten Di(r) jedes einzelnen Detektorelements im Ortsraum aus: D i r = O r ⊗ EH i r + N r .
    [0011] Dabei ist i ein Index von i = 1, 2, 3, ..., n. Der Term N(r) repräsentiert das Rauschen.
    [0012] Im Frequenzraum gilt entsprechend die D i ω = O ω ⋅ EH i ω + N ω .
    [0013] Eine Entfaltung der resultierenden Bilddaten Di(r) im Frequenzraum kann erfolgen, indem die resultierenden Bilddaten Di(r) inklusive Rauschen N(r) mittels einer Fouriertransformation FT in die das Bildspektrum Di(ω) überführt werden.
    [0014] Um bei Nutzung einer Vielzahl von Detektorelementen eine Entfaltung der resultierenden Bilddaten (Di(r) + N(r) zurück zu den Bilddaten O(r) zu erreichen, wurde eine gewichtetes Mittel eingeführt, um das unterschiedliche Übertragungsverhalten, also die individuellen PSF, zu berücksichtigen und das Signal-zu-Rausch Verhältnis (signal-to-noise ratio; SNR) zu optimieren (siehe Gleichung 3; siehe z. B.: Weisshart, K. 2014; The basic principle of Airyscanning; Technology Note EN_41_013_084; Carl Zeiss Microscopy GmbH; sowie Huff, J. et al. 2015; The Airy detector from ZEISS - Confocal imaging with improved signal-to-noise ratio and superresolution; Technology Note EN_41_013_102; Carl Zeiss Microscopy GmbH). Eine Entfaltung der resultierenden Bilddaten Di(ω) aller Detektorelemente erfolgt unter Anwendung der linearen Wiener-Filterung oder Wiener-Dekonvolution gemäßO ω = ∑ i n D i ω ⋅ EH i *ω w + ∑ i nEH i ω 2 ,
    [0015] Der Parameter w ist der Wiener-Parameter. Die Filterung nach Wiener erlaubt in bekannter Weise die Reduzierung des nachteiligen Beitrags des Rauschens. Die Filterung gemäß Gleichung 3 ist ein nicht-iterativer Prozess, das bedeutet, dass der Wiener-Parameter festgelegt wird und konstant bleibt (siehe z. B. Huff, J. et al. 2015; The Airy detector from ZEISS - Confocal imaging with improved signal-to-noise ratio and superresolution; Technology Note EN_41_013_102; Carl Zeiss Microscopy GmbH; Seite 8).
    [0016] Dieses Vorgehen erfordert eine hohe Rechenleistung und entsprechend lange Rechenzeiten beziehungsweise entsprechend schnelle Prozessoren. Bei nicht optimal festgelegtem Wiener-Parameter w ist die Qualität des Resultats der Entfaltung entsprechend beeinträchtigt.
    [0017] Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber den Stand der Technik verbessertes Verfahren zur Entfaltung von Bilddaten vorzuschlagen.
    [0018] Die Aufgabe wird mit einem Verfahren gemäß des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
    [0019] Bei Ausführung des Verfahrens zur Entfaltung von Bilddaten, werden mit einer Anzahl n konfokaler Strahlengänge und einer Anzahl n Detektorelementen oder einer Anzahl n Detektoren Bilddaten eines Objekts erfasst. Die Bilddaten werden entsprechend einer Punktbildübertragungsfunktion in resultierende Bilddaten überführt. Die so erhaltenen resultierenden Bilddaten werden dann unter Anwendung einer Entfaltungsfunktion im Frequenzraum wieder entfaltet. Die Entfaltungsfunktion bedingt dabei die Bildung mindestens einer Anzahl n Summenterme.
    [0020] Die Entfaltungsfunktion beinhaltet zudem einen Wiener-Parameter w, der als Korrekturvariable zur Reduzierung des Rauschens dient.
    [0021] Dieser kann in einer möglichen Ausgestaltung des Verfahrens die Formw =〈N ω2 〉 〈O ω2 〉
    [0022] Dabei sind N(ω) das Rauschspektrum und O(ω) das Objektspektrum.
    [0023] Erfindungsgemäß werden die Ergebnisse der Anzahl n der Terme∑ i nEH i ω 2
    [0024] Die Punktbildübertragungsfunktion ist eine Eigenschaft des jeweiligen optischen Systems. Jeder der konfokalen Strahlengänge besitzt seine individuelle PSF im Ortsraum beziehungsweise seine individuelle optische Transferfunktion im Frequenzraum. Die Überführung der Bilddaten in resultierende Bilddaten anhand der PSF ist daher ein dem jeweiligen konfokalen Strahlengang inhärenter und passiver Vorgang.
    [0025] Ein konfokaler Strahlengang ist beispielsweise dann gegeben, wenn ein sogenannter Airyscandetektor in einer konjugierten Bildebene in einem Detektionsstrahlengang angeordnet ist. Jeder Strahlengang zu einem Detektorelement, gegebenenfalls mit den Detektorelementen jeweils vorgeordneten Lichtleitfasern, stellt einen eigenen konfokalen Strahlengang im Sinne dieser Beschreibung dar.
    [0026] Kern der Erfindung ist die Verbesserung des oben beschriebenen Entfaltungsverfahrens, indem die besonders rechenaufwändigen Schritte reduziert werden und das Entfaltungsverfahren effektiver gestaltet wird. Zusätzlich eröffnet die Erfindung die Möglichkeit, den Wiener-Parameter w im Zuge einer iterativen Annäherung effizient auszuwählen um das aus allen individuellen konfokalen Strahlengängen resultierende Rauschen besser zu berücksichtigen, als dies mit einem einmalig festgelegten Wert des Wiener-Parameters w im Stand der Technik der Fall ist.
    [0027] In einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens werden die Ergebnisse der rechenintensiven Terme ∑ i n D i ω ⋅ EH i *ω
    [0028] Besonders deutlich werden die Vorteile des erfindungsgemäßen Verfahrens am Beispiel eines Airyscandetektors mit beispielsweise 32 Detektorelementen.
    [0029] Die Verfahrensweise der Entfaltung nach dem Stand der Technik und unter Nutzung der Gleichung 3 bedingt Fouriertransformationen der resultierenden Bilddaten D(r) aus dem Ortsraum in den Frequenzraum: D(ω) = FT(D(r)). Für jeden konfokalen Strahlengang muss vorab die jeweilige PSF (EHi(r)) ermittelt werden. Außerdem werden die optischen Transferfunktionen mittels Fouriertransformation aus der jeweiligen PSF berechnet: EH(ω) = FT(EH(r)). Daher sind für einen vorgegebenen Wiener-Parameter w insgesamt 64 Fouriertransformationen (32x FT(D(r) und 32x FT(EH(r)) erforderlich. Zudem sind jeweils die Summenterme ∑ i n D i ω ⋅ EH i *ω
    [0030] In Abhängigkeit von der Anzahl n der konfokalen Strahlengänge wird die erforderliche Rechenzeit mittels des erfindungsgemäßen Verfahrens um einen Faktor von 4 bis 30 reduziert. Für ein typisches mittels eines Airyscandetektors (Airyscan) erfassten Bildes (SizeX = 2000, SizeY = 2000, SizeZ = 75) wird die Rechenzeit für jede Iteration auf wenige Sekunden reduziert. Ein optimaler Wert für den Wiener-Parameter w kann somit in effizienter Weise ermittelt werden.
    [0031] Das erfindungsgemäße Verfahren erlaubt vorteilhaft eine Veränderung des Wiener-Parameters w mit geringen Rechenaufwand. Ein schrittweises Anpassen und Optimieren des Wiener-Parameters w ist ebenfalls erheblich effizienter möglich. Dieser Vorteil des erfindungsgemäßen Verfahrens zeigt sich insbesondere bei großen Datenmengen.
    权利要求:
    Claims (6)
    [0001] Verfahren zur Entfaltung von Bilddaten (D(r)),bei dem mit einer Anzahl n konfokaler Strahlengänge und einer Anzahl n Detektorelementen Bilddaten (O(r)) eines Objekts erfasst werden;die Bilddaten (O(r)) mittels einer Punktbildübertragungsfunktion (EH(r)) in resultierende Bilddaten (D(r)) überführt werden; unddie resultierenden Bilddaten (D(r)) unter Anwendung einer Entfaltungsfunktion im Frequenzraum wieder entfaltet werden, wobei die Entfaltungsfunktion
    die Bildung mindestens einer Anzahl n von Summenterme bedingt und
    einen Wiener-Parameter (w) als Korrekturvariable enthält,dadurch gekennzeichnet, dass die Ergebnisse der Summenterme abrufbar gespeichert werden;der Wiener-Parameter (w) wenigstens einmal ausgehend von seinem Ursprungswert verändert wird unddie Entfaltung mittels der Entfaltungsfunktion mit dem veränderten Wiener-Parameter (w) und den gespeicherten Ergebnissen der Summenterme ausgeführt wird.
    [0002] Verfahren nach Anspruch 1,dadurch gekennzeichnet, dass die Entfaltungsfunktion dieFormO ω =∑ i n D i ω ⋅ EH i *ω w + ∑ i nEH i ω 2
    [0003] Verfahren nach Anspruch 2,dadurch gekennzeichnet, dass die Anzahl n konfokaler Strahlengänge
    - n ≥ 2,
    - gleich der Anzahl n von Detektorelementen ist, und
    - Bilddaten jedes konfokalen Strahlengangs individuell mittels jeweils einem Detektorelement erfasst wird.
    [0004] Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Terme ∑ i n D i ω ⋅ EH i *ω
    [0005] Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Wiener Parameter w die Formw = 〈 N ω 2 〉 〈 O ω 2 〉
    [0006] Verfahren nach einem der Ansprüche 3 bis 5,dadurch gekennzeichnet, dass zur Erfassung der resultierenden Bilddaten ein Detektor mit einer zweidimensionalen Anordnung einer Anzahl von Detektorelementen verwendet wird, wobei der Detektor in einer konjugierten Bildebene eines Detektionsstrahlengangs angeordnet wird.
    类似技术:
    公开号 | 公开日 | 专利标题
    EP3108281B1|2019-04-03|Verfahren und anordnung zur lichtblattmikroskopie
    DE10055739B4|2006-04-27|Streustrahlungskorrekturverfahren für eine Röntgen-Computertomographieeinrichtung
    EP0029244B1|1986-04-16|Verfahren und Gerät zur Korrektur von Ungleichförmigkeiten in den Bildereignis-Energiesignalen einer Szintillationskamera
    EP2137488B1|2012-08-08|Verfahren und anordnung zur optischen abbildung mit tiefendiskriminierung
    EP1488377B1|2007-05-02|Verfahren zur selbstüberwachung eines mikroskopsystems, mikroskopsystem und software zur selbstüberwachung
    EP3186952B1|2019-10-02|Bildaufnahmevorrichtung und verfahren zur bildaufnahme
    DE60207477T2|2006-08-03|Verfahren und Vorrichtung zur Spektralanalyse mit Detektion mit angepasstem Filter
    DE60205232T2|2006-04-20|Verfahren und vorrichtung zur bestimmung der qualität eines sprachsignals
    DE102011088393A1|2012-06-14|Bestimmen einer Gesamtzahl an Personen in einem IR-Bild, das mittels eines IR-Bilderzeugungssystems gewonnen wird
    EP1504300B1|2011-03-30|Verfahren und anordnung zur untersuchung von proben
    DE102014109687B4|2020-03-19|Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
    DE60300097T2|2005-10-27|Verfahren zur Schärfung eines Digitalbildes ohne Verstärkungsrauschen
    DE102006025505B4|2011-08-18|Konfokales Selbstinterferenz-Mikroskop ohne Nebenmaxima
    EP0803738A1|1997-10-29|Bild-Synthese-Verfahren zur Erzeugung eines Kombinationsbildes aus Ausgangsbildern
    EP3754402A1|2020-12-23|Mikroskop
    DE60300462T2|2006-01-26|Verfahren zur schärfung eines digitalbildes mit signal-rausch-bewertung
    DE3704685C2|1992-12-17|
    DE102008044844B4|2018-08-30|Verfahren zur Ermittlung einer Schwächungskarte zur Verwendung in der Positronenemissionstomographie und von Homogenitätsinformationen des Magnetresonanzmagnetfeldes
    DE102017220104A1|2018-05-24|Linsensystem mit variabler Brennweite mit Mehrebenen-Bildverarbeitung mit erweiterter Tiefenschärfe
    DE102007052551B4|2019-06-19|Verfahren zur Durchführung einer Rasterbildkorrelationsspektroskopiemessung sowie Steuereinheit, Laser-Scanning-Mikroskop und Computerprogramm
    DE10339311B4|2006-04-27|System und Verfahren zur Einstellung eines Fluoreszenzspektralmesssystems zur Mikroskopie
    DE112012002668T5|2014-04-24|Rasterelektronenmikroskop und Rastertransmissionselektronenmikroskop
    DE19653413C2|2002-02-07|Rastermikroskop, bei dem eine Probe in mehreren Probenpunkten gleichzeitig optisch angeregt wird
    DE3931934C2|1994-11-10|Bild-Ein/Ausgabevorrichtung
    DE102010041569A1|2012-03-29|Digitales Kamerasystem, mit wenigstens zwei unabhängigen digitalen Kameras
    同族专利:
    公开号 | 公开日
    DE102019203449A1|2020-09-17|
    US20200294204A1|2020-09-17|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    2020-08-14| PUAI| Public reference made under article 153(3) epc to a published international application that has entered the european phase|Free format text: ORIGINAL CODE: 0009012 |
    2020-08-14| STAA| Information on the status of an ep patent application or granted ep patent|Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
    2020-09-16| 17P| Request for examination filed|Effective date: 20200303 |
    2020-09-16| AK| Designated contracting states|Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
    2020-09-16| AX| Request for extension of the european patent|Extension state: BA ME |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]